Prompt learning is one of the most effective and trending ways to adapt powerful vision-language foundation models like CLIP to downstream datasets by tuning learnable prompt vectors with very few samples. However, although prompt learning achieves excellent performance over in-domain data, it still faces the major challenge of generalizing to unseen classes and domains. Some existing prompt learning methods tackle this issue by adaptively generating different prompts for different tokens or domains but neglecting the ability of learned prompts to generalize to unseen domains. In this paper, we propose a novel prompt learning paradigm that directly generates domain invariant prompt generalizable to unseen domains, called MetaPrompt. Specifically, a dual-modality prompt tuning network is proposed to generate prompts for inputs from both image and text modalities. More importantly, we propose a meta-learning-based prompt tuning algorithm that explicitly constrains the prompt tuned on a specific domain or class also to achieve good performance on another domain or class. Extensive experiments on 11 datasets for base-to-new generalization and four datasets for domain generalization demonstrate that our method consistently and significantly outperforms existing methods.

Novel artificial intelligence (AI) technology has expedited various scientific research, e.g., cosmology, physics and bioinformatics, inevitably becoming a significant category of workload on high performance computing (HPC) systems. Existing AI benchmarks tend to customize well-recognized AI applications, so as to evaluate the AI performance of HPC systems under predefined problem size, in terms of datasets and AI models. Due to lack of scalability on the problem size, static AI benchmarks might be under competent to help understand the performance trend of evolving AI applications on HPC systems, in particular, the scientific AI applications on large-scale systems. In this paper, we propose a scalable evaluation methodology (SAIH) for analyzing the AI performance trend of HPC systems with scaling the problem sizes of customized AI applications. To enable scalability, SAIH builds a set of novel mechanisms for augmenting problem sizes. As the data and model constantly scale, we can investigate the trend and range of AI performance on HPC systems, and further diagnose system bottlenecks. To verify our methodology, we augment a cosmological AI application to evaluate a real HPC system equipped with GPUs as a case study of SAIH.

近年来，基于深度学习的模型在视频超分辨率（VSR）方面取得了显着性能，但是这些模型中的大多数不适用于在线视频应用程序。这些方法仅考虑失真质量，而忽略了在线应用程序的关键要求，例如低延迟和模型较低的复杂性。在本文中，我们专注于在线视频传输，其中需要VSR算法来实时生成高分辨率的视频序列。为了应对此类挑战，我们提出了一种基于一种新的内核知识转移方法，称为卷积核旁路移植物（CKBG）。首先，我们设计了一个轻巧的网络结构，该结构不需要将来的帧作为输入，并节省了缓存这些帧的额外时间成本。然后，我们提出的CKBG方法通过用``核移植物）''绕过原始网络来增强这种轻巧的基础模型，这些网络是包含外部预验证图像SR模型的先验知识的额外卷积内核。在测试阶段，我们通过将其转换为简单的单路结构来进一步加速移植的多支球网络。实验结果表明，我们提出的方法可以处理高达110 fps的在线视频序列，并且模型复杂性非常低和竞争性SR性能。

通过开发基于生成的自我监督学习（SSL）方法，例如Beit和Mae，如何通过掩盖输入图像的随机补丁并重建缺失信息来学习良好的表示形式。但是，Beit和Peco需要一个“预先陈述”阶段，以生成用于掩盖补丁代表的离散代码手册。 MAE不需要预训练的代码簿流程，但是将像素设置为重建目标可能会引入前训练和下游任务之间的优化差距，即良好的重建质量可能并不总是会导致模型的高描述能力。考虑到上述问题，在本文中，我们提出了一个简单的自鉴定的蒙面自动编码器网络，即SDAE。 SDAE由一个使用编码器解码器结构的学生分支组成，以重建缺失的信息，并制作一个师范分支，生产蒙版代币的潜在表示。我们还分析了如何从信息瓶颈的角度来为教师分支机构建立潜在代表性的好看法。之后，我们提出了一种多重掩蔽策略，以提供多个掩盖视图，并具有平衡的信息以提高性能，这也可以降低计算复杂性。我们的方法很好地概括了：只有300个时期预训练，香草vit-base模型在Imagenet-1K分类上达到了84.1％的微调精度，48.6 MIOU在ADE20K细分方面和48.9 coco检测中的MAP，它超过了其他方法，从而超过其他方法。通过相当大的边距。代码可从https://github.com/abrahamyabo/sdae获得。

最近，人重新识别（REID）的隐私问题引起了越来越多的关注，并保留了REID方法使用的行人图像的隐私是必不可少的。去识别（DEID）方法通过删除与REID数据相关的身份来减轻隐私问题。但是，大多数现有的DEID方法倾向于删除所有与个人身份相关的信息，并损害REID任务上的识别数据的可用性。在本文中，我们旨在开发一种可以在REID人士的隐私保护和数据可用性之间实现良好权衡的技术。为了实现这一目标，我们提出了一种新颖的去识别方法，该方法是针对人雷德（Reid）明确设计的，命名人识别转移（PIS）。 PI在保留图像对之间的身份关系的同时，消除了行人图像中的绝对身份。通过利用变异自动编码器的插值属性，PI将每个行人图像从当前身份转移到具有新身份的另一个身份，从而导致图像仍然保留相对身份。实验结果表明，与现有的去识别方法相比，我们的方法在隐私保护和模型性能之间取决于更好的权衡，并且可以防御人类和模型攻击以确保数据隐私。

深度学习的快速发展在分割方面取得了长足的进步，这是计算机视觉的基本任务之一。但是，当前的细分算法主要取决于像素级注释的可用性，这些注释通常昂贵，乏味且费力。为了减轻这一负担，过去几年见证了越来越多的关注，以建立标签高效，深度学习的细分算法。本文对标签有效的细分方法进行了全面的审查。为此，我们首先根据不同类型的弱标签提供的监督（包括没有监督，粗略监督，不完整的监督和嘈杂的监督和嘈杂的监督），首先开发出一种分类法来组织这些方法，并通过细分类型（包括语义细分）补充，实例分割和全景分割）。接下来，我们从统一的角度总结了现有的标签有效的细分方法，该方法讨论了一个重要的问题：如何弥合弱监督和密集预测之间的差距 - 当前的方法主要基于启发式先导，例如交叉像素相似性，跨标签约束，跨视图一致性，跨图像关系等。最后，我们分享了对标签有效深层细分的未来研究方向的看法。

矢量图形（VG）在我们的日常生活中无处不在，在工程，建筑，设计等方面进行了广泛的应用。大多数现有方法的VG识别过程是首先将VG渲染为栅格图形（RG），然后基于行为识别。 RG格式。但是，此过程丢弃了几何结构并失去了VG的高分辨率。最近，提出了另一种类别的算法以直接从原始VG格式识别。但是它受RG渲染可以滤除的拓扑错误的影响。它不是查看一种格式，而是将VG和RG格式一起使用以避免这些缺点的好解决方案。此外，我们认为VG-TO-RG渲染过程对于有效组合VG和RG信息至关重要。通过指定有关如何将VG原语转移到RG像素的规则，渲染过程描述了VG和RG之间的相互作用和相关性。结果，我们提出了Rendnet，这是在2D和3D方案上识别的统一体系结构，该体系结构考虑VG/RG表示并通过结合VG-TO-RG栅格化过程来利用其相互作用。实验表明，Rendnet可以在各种VG数据集上的2D和3D对象识别任务上实现最新性能。

在本文中，我们考虑一种用于图像的不同数据格式：矢量图形。与广泛用于图像识别的光栅图形相比，由于文档中的基元的分析表示，矢量图形可以向上或向下缩放或向下扩展到任何分辨率而不进行别名或信息丢失的分辨率。此外，向量图形能够提供有关低级别元素组如何一起形成高级形状或结构的额外结构信息。图形矢量的这些优点尚未完全利用现有方法。要探索此数据格式，我们针对基本识别任务：对象本地化和分类。我们提出了一个有效的无CNN的管道，不会将图形呈现为像素（即光栅化），并将向量图形的文本文档作为输入，称为Yolat（您只查看文本）。 Yolat构建多图来模拟矢量图形中的结构和空间信息，并提出了双流图形神经网络来检测图表中的对象。我们的实验表明，通过直接在向量图形上运行，在平均精度和效率方面，Yolat Out-ut-Proped基于的物体检测基线。

This paper focuses on designing efficient models with low parameters and FLOPs for dense predictions. Even though CNN-based lightweight methods have achieved stunning results after years of research, trading-off model accuracy and constrained resources still need further improvements. This work rethinks the essential unity of efficient Inverted Residual Block in MobileNetv2 and effective Transformer in ViT, inductively abstracting a general concept of Meta-Mobile Block, and we argue that the specific instantiation is very important to model performance though sharing the same framework. Motivated by this phenomenon, we deduce a simple yet efficient modern \textbf{I}nverted \textbf{R}esidual \textbf{M}obile \textbf{B}lock (iRMB) for mobile applications, which absorbs CNN-like efficiency to model short-distance dependency and Transformer-like dynamic modeling capability to learn long-distance interactions. Furthermore, we design a ResNet-like 4-phase \textbf{E}fficient \textbf{MO}del (EMO) based only on a series of iRMBs for dense applications. Massive experiments on ImageNet-1K, COCO2017, and ADE20K benchmarks demonstrate the superiority of our EMO over state-of-the-art methods, \eg, our EMO-1M/2M/5M achieve 71.5, 75.1, and 78.4 Top-1 that surpass \textbf{SoTA} CNN-/Transformer-based models, while trading-off the model accuracy and efficiency well.

We aim to bridge the gap between our common-sense few-sample human learning and large-data machine learning. We derive a theory of human-like few-shot learning from von-Neuman-Landauer's principle. modelling human learning is difficult as how people learn varies from one to another. Under commonly accepted definitions, we prove that all human or animal few-shot learning, and major models including Free Energy Principle and Bayesian Program Learning that model such learning, approximate our theory, under Church-Turing thesis. We find that deep generative model like variational autoencoder (VAE) can be used to approximate our theory and perform significantly better than baseline models including deep neural networks, for image recognition, low resource language processing, and character recognition.